package cn.doitedu.day02.partitions

import cn.doitedu.day01.utils.SparkUtil

/**
 * @Date 22.3.29
 * @Created by HANGGE
 * @Description
 *             RDD的分区个数
 *   1 从数据源创建的RDD
 *   2 调用转换算子 创建的RDD
 */
object C01_PartitionNumber {
  def main(args: Array[String]): Unit = {
    val sc = SparkUtil.getSc

    // 加载文件查看RDD  --->  并行度  分区数
    // 1)本地文件  和MR一致  根据本地输入路径下文件的个数和文件大小  计算
    val rdd1 = sc.textFile("data/")
    val number2 = rdd1.partitions.length
    val number1 = rdd1.getNumPartitions
    println(s"rdd1的分区个数 : 并行度为: $number1")
    println(s"rdd1的分区个数 : 并行度为: $number2")

    // 2) HDFS文件和MR一致  根据本地输入路径下文件的个数和文件大小  计算
    val rdd2 = sc.textFile("hdfs://linux01:8020/data/wc/word.txt")
    val number3 = rdd2.getNumPartitions
    println(s"rdd2的分区个数 : 并行度为: $number3")



  }

}
